Olsen dilahir dan dibesarkan di Sherman Oaks, California, anak perempuan kepada Jarnette "Jarnie" (née Jones;[2] l. 1954), seorang pengurus peribadi dan David "Dave" Olsen, seorang pemaju hartanah dan pegawai bank.[3] Beliau merupakan adik kepada Mary-Kate dan Ashley Olsen yang menjadi terkenal sebagai bintang filem dan TV pada usia muda. Pada tahun 1996, ibu-bapa Olsen bercerai.[4] Keluarga Olsen berketurunan Norway di sebelah bapanya dan Inggeris di sebelah ibunya.[5][6]

Sebagai seorang kanak-kanak, Olsen menerima latihan balet dan nyanyian.[7] Beliau mula berlakon sejak usia muda dan muncul dalam filem-filem kakaknya. Sebelum berumur sebelas tahun, Olsen mempunyai peranan kecil dalam How the West Was Fun dan The Adventures of Mary-Kate & Ashley.[8]

Beliau menghadiri Sekolah Campbell Hall di Hollywood Utara, California bermula tadika sehingga gred 12. Selepas tamat belajar, beliau memasuki Sekolah Seni Tisch di Universiti New York. Pada tahun 2009, Olsen menghabiskan satu semester belajar di Moscow, Rusia di Sekolah Teater Seni Moscow melalui program MATS.[9]